SkillRep: Characterizing and Understanding the Representation Design Space of Agent Skill Retrieval
SkillRep：刻画并理解智能体技能检索的表示设计空间
🧭 Agent技能检索 · 表示设计空间 ★ 深度解读
EverMind, Shanda Group · Peking University · Southeast University
首个组合微调、双侧扩展、背景投影与BM25的0.6B技能检索器，SRA-Bench MRR@10领先7.02点
📌 工作参考价值（4 点）
- 在召回/检索项目中，不要孤立评估 LLM 扩展、embedding 校准、BM25 融合；一定要在最强微调 encoder 上做 leave-one-out/last ablation。论文显示微调会反转 training-free 模块排序：background projection 从 +5.55 降到 +1.63，query-side expansion 从 +1.40 升到 +6.28。业务里可先用对比微调把双塔/商品 embedding 校准好，再决定要不要做 query 扩展或去背景。
- 混合检索优先用 score fusion（按 query 的 top-k 分数分布做 z-score 后线性加权），而不是 RRF。RRF 丢弃分数边界，稀疏通道可能推走 dense 已高分但 margin 大的正确结果；这对电商搜索/推荐中 BM25 与双塔融合直接可迁移，建议保留 score 的置信度信息。
- 三个诊断量可复用：background gap、coverage、dilution loss。上线 embedding 检索前，用它们判断是 query 表达不足、语料背景偏移、还是单向量稀释主导失败：前者补 query expansion；中者做 background projection/whitening；后者考虑 passage-level indexing 或增加 lexical channel。
- LLM query 扩展的价值主要在补出目标文档的词，而非改写风格。做电商搜索 query 扩展/改写时，应让 LLM 生成包含商品属性词、卖点词的伪文档或 pseudo-query，并按 IDF/类目词汇控制生成，避免泛词膨胀。